# cuBLAS

**cuBLAS**(CUDA Basic Linear Algebraprograms)는 NVIDIA에서 개발 GPU 기반의성능 선형대수 라이브러리로 CUDA 플랫폼에서 실행되는 C/C++ 및 Fortran 애플리케이션 대해 BLAS(B Linear Algebra Subprograms) 표준을 구현한 소프트웨어 라이브러리. 이 라이브러리는 행렬-벡터 연산, 벡터-벡터 연산, 행렬-행렬 연산 등 다양한 선형대수 계산을 GPU의 병렬 처리 능력을 최대한 활용하여 매우 빠르게 수행할 수 있도록 설계되어 있으며, 딥러닝, 과학 계산, 수치 해석 등 고성능 컴퓨팅(HPC) 분야에서 널리 사용됩니다.

---

## 개요

cuBLAS는 NVIDIA의 CUDA Toolkit의 핵심 구성 요소 중 하나로, GPU를 이용한 범용 연산(GPGPU) 환경에서 선형대수 연산의 성능을 극대화하는 데 목적이 있습니다. BLAS는 벡터와 행렬의 기본 연산을 정의한 산업 표준으로, 수치 소프트웨어의 성능을 결정짓는 핵심 요소입니다. cuBLAS는 이 표준을 GPU 아키텍처에 맞게 최적화하여, CPU 기반 BLAS 구현에 비해 수십 배에서 수백 배의 성능 향상을 제공할 수 있습니다.

cuBLAS는 **단정밀도**(float), **배정밀도**(double), **반정밀도**(half), **복소수**(complex) 데이터 타입을 모두 지원하며, NVIDIA의 다양한 GPU 아키텍처(Turing, Ampere, Hopper 등)에서 최적의 성능을 발휘하도록 설계되어 있습니다.

---

## 주요 기능 및 연산 종류

cuBLAS는 BLAS의 세 가지 레벨로 분류되는 연산을 모두 지원합니다.

### Level 1: 벡터-벡터 연산
- 주로 벡터 간의 연산을 수행합니다.
- 예: 벡터 덧셈, 내적(dot product), 벡터 스케일링
- 함수 예: `cublasSaxpy()`, `cublasSdot()`
- 시간 복잡도: O(n)

### Level 2: 행렬-벡터 연산
- 행렬과 벡터 간의 연산을 수행합니다.
- 예: 행렬-벡터 곱(MVM), 랭크-1 업데이트
- 함수 예: `cublasSgemv()`
- 시간 복잡도: O(n²)

### Level 3: 행렬-행렬 연산
- 가장 계산 집약적인 연산으로, 행렬 간의 곱셈 등을 포함합니다.
- 예: 일반 행렬 곱셈(GEMM), 랭크-k 업데이트
- 함수 예: `cublasSgemm()`, `cublasCgemm()`
- 시간 복잡도: O(n³)
- **GEMM**(General Matrix Multiply)은 딥러닝에서 합성곱이나 완전 연결 계층의 연산에 핵심적으로 사용되며, cuBLAS의 성능이 전체 모델 훈련 속도에 큰 영향을 미칩니다.

---

## 아키텍처 및 성능 최적화

cuBLAS는 다음과 같은 기술을 통해 성능을 극대화합니다:

- **GPU 메모리 계층 활용**: 전역 메모리, 공유 메모리, 레지스터를 효율적으로 사용하여 메모리 대역폭을 최적화합니다.
- **워프 및 스레드 블록 병렬화**: CUDA의 병렬 실행 모델을 기반으로 수천 개의 스레드를 동시에 실행합니다.
- **텐서 코어**(Tensor Cores) **지원**: Volta 아키텍처 이후의 GPU에서는 반정밀도(half precision) 및 혼합 정밀도 연산에서 텐서 코어를 활용하여 GEMM 연산의 성능을 극대화합니다. 특히 `cublasGemmEx()` 함수를 통해 INT8, FP16, BF16 등 다양한 데이터 타입과 혼합 정밀도 연산을 지원합니다.
- **스트림 기반 비동기 실행**: CUDA 스트림을 통해 연산을 비동기적으로 실행하고, 데이터 전송과 연산을 중첩하여 GPU 활용도를 높입니다.

---

## 사용 예시 (C/C++)

다음은 C/C++에서 cuBLAS를 사용하여 두 벡터의 내적을 계산하는 간단한 예제입니다:

```c
#include <cublas_v2.h>
#include <cuda_runtime.h>
#include <iostream>

int main() {
    const int n = 4;
    float h_A[] = {1.0f, 2.0f, 3.0f, 4.0f};
    float h_B[] = {5.0f, 6.0f, 7.0f, 8.0f};
    float result;

    float *d_A, *d_B;
    cudaMalloc(&d_A, n * sizeof(float));
    cudaMalloc(&d_B, n * sizeof(float));
    cudaMemcpy(d_A, h_A, n * sizeof(float), cudaMemcpyHostToDevice);
    cudaMemcpy(d_B, h_B, n * sizeof(float), cudaMemcpyHostToDevice);

    cublasHandle_t handle;
    cublasCreate(&handle);

    cublasSdot(handle, n, d_A, 1, d_B, 1, &result);

    std::cout << "Dot product: " << result << std::endl;

    cublasDestroy(handle);
    cudaFree(d_A);
    cudaFree(d_B);

    return 0;
}
```

> 컴파일 시에는 `-lcublas` 링크 옵션을 추가해야 합니다.

---

## 관련 라이브러리 및 생태계

cuBLAS는 NVIDIA의 **cuMath** 라이브러리 제품군의 일원으로, 다음 라이브러리들과 함께 사용됩니다:

- **cuSPARSE**: 희소 행렬 연산
- **cuSOLVER**: 선형 시스템 해법, 고유값 분해 등
- **cuFFT**: 고속 푸리에 변환
- **cuDNN**: 딥러닝용 최적화 라이브러리 (내부적으로 cuBLAS 활용)

또한, 고수준 프레임워크인 **PyTorch**, **TensorFlow**, **JAX** 등은 내부적으로 cuBLAS를 활용하여 GPU에서의 행렬 연산을 가속화합니다.

---

## 설치 및 사용 환경

cuBLAS는 **NVIDIA CUDA Toolkit**에 포함되어 있으며, 다음 단계로 사용 가능합니다:

1. [NVIDIA CUDA 다운로드 페이지](https://developer.nvidia.com/cuda-downloads)에서 CUDA Toolkit 설치
2. 개발 환경에 `cublas_v2.h` 헤더 파일 및 라이브러리(`libcublas.so` 또는 `cublas.lib`) 포함
3. 컴파일 시 `-I/usr/local/cuda/include -L/usr/local/cuda/lib64 -lcublas` 옵션 사용

---

## 참고 자료

- [NVIDIA cuBLAS 공식 문서](https://docs.nvidia.com/cuda/cublas/)
- [CUDA Toolkit 설치 가이드](https://docs.nvidia.com/cuda/)
- BLAS 표준 사양 (Netlib)
- "Programming Massively Parallel Processors" – David B. Kirk & Wen-mei W. Hwu

cuBLAS는 GPU 기반 고성능 컴퓨팅의 핵심 도구로서, 선형대수 연산의 효율성과 속도를 결정짓는 중요한 요소입니다. 특히 딥러닝과 과학 시뮬레이션 분야에서는 거의 필수적인 라이브러리로 자리 잡고 있습니다.